RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
RLE-Bench：编码智能体作为机器人学习工程师的资格考试基准
🧭 编码智能体 · 机器人工程能力评测
Harvard University · Georgia Institute of Technology
提出覆盖四类机器人开发工作流的编码智能体评测基准，用 RLE Index 聚合多维工件指标并给出排行榜
📌 工作参考价值（4 点）
- 借鉴“工作流拆解 + 工件级评估”范式：将电商推荐 Agent 的能力按 query 理解/候选召回/排序策略/诊断优化等 workflow 拆分，分别评估 Agent 产出的代码、配置或策略，避免只测对话文本。
- 借鉴 RLE Index 的异构指标归一化聚合方法：在 Agent 综合能力排名中，对不同任务的成功率、策略收益、结构指标等做标准化后加权，可用来比较不同 LLM 驱动的推荐 Agent。
- 引入资源约束与多模态反馈的评估条件：电商 Agent 常面临延迟、成本、多样性约束，评测时可加入相应限制，考察 Agent 在受限环境下生成可部署 artifact 的能力。
- 案例研究定位 failure mode：对 Agent 在复杂搜索推荐任务中的行为做细粒度分析，可发现 LLM 在集成异构组件、处理多模态信号时的具体短板，指导后续微调或 prompt 设计。